实测百度文心大模型：部分能力过关，视频生成能力有待提升
文｜Glen
图片｜视觉中国
3月16日，百度在OpenAI发布GPT-4一天后，正式发布文心大模型；
5月26日，李彦宏表示，百度要做第一个把全部产品重做一遍的公司，不是整合，不是接入，是重做，重构；
7月3日，文心一言APP上架苹果应用商店App Store，需要申请体验权限；
8月10日，百度网盘推出智能助理 “云一朵”：基于文心大模型，可快搜文件、总结 / 创作内容；
8月31日，百度文心大模型正式向全社会开发，开放首日在苹果App Store免费榜登顶；
10月17日，文心大模型4.0发布。
3月份，百度在文心大模型发布会现场的产品展示方法，是播放提前录制好的视频，让想看实操的大众只看到了demo，甚至一度导致百度股价下跌。
而这次文心大模型4.0发布，是创始人李彦宏现场实操演示，侧面体现百度对于文心大模型4.0的表现有较大的信心。
文心大模型一路走来颇不容易，在3月份刚发布时，真格基金做了一套大模型测试集Z-Bench，设计了300个问题去评估中外大模型之间的综合能力。在这套评分系统下，OpenAI推出的GPT-3.5得分是60多分，GPT-4的得分80多分，而文心大模型大概是20分左右的水平，与Open AI的大模型有着不小的差距。
今年8月初，清华大学新闻与传播学院教授、博士生导师沈阳所在团队发布了《大语言模型综合性能评估报告》，对国内外主流模型进行了一次全新的性能评估，这次评估显示，文心大模型已经超越GPT-3.5，距离GPT-4差距不远，中文语义理解排名第一，部分中文能力超越 GPT-4。
最近，文心大模型4.0正式发布，我们第一时间得到了体验资格。登录文心大模型后，用户将在主界面看到“文心大模型4.0”的选项，接下来，我们从语言理解能力、生成能力、逻辑能力和记忆能力四个方面对文心大模型的能力进行实测。
01
比如我们用某家的大模型产品问“爷爷和奶奶能不能结婚？”得出的答案啼笑皆非：
关于文心大模型4.0的理解能力，百度创始人李彦宏表示，“你说的每一句话，它大概率都能听懂，很多时候比你的朋友同事更懂你在说什么。”那我们直接上强度来一番“汉语十级考试”的测试。
先向文心大模型4.0问个简单的问题，“雨天骑自行车，车轮打滑，还好我反应快，一把把把把住了。你能理解是什么意思吗？”，文心大模型的回答还不错，还能针对考点进行细致的分析。
再增加一个难度级的测试，“人要是行，干一行行，一行行行行行，人要是不行，干一行不行，一行不行行行不行。说你行你就行，不行也行，说你不行，行也不行。你能理解是什么意思吗？”。文心大模型4.0比较准确地理解了这句话的意思，目测它的中文能力到9级了。
有点上头，再用一个高难度的句子测试，去“为难”一下文心大模型4.0，“大舅去二舅家找三舅说四舅被五舅骗去六舅家偷七舅放在八舅柜子里九舅借十舅发给十一舅工资的1000元。请问：究竟谁是小偷？”
好家伙，中文“十级”验证成功，在今年7月，我们尝试拿同一个问题去问谷歌Bard，它还表示爱莫能助……
（谷歌Bard答案）
02
前段时间，日本饮料公司伊藤园发布了最新的视频广告，号称“100%由AI生成”。
我们依样画葫芦试试效果，将以下提示词输入给文心大模型4.0：我们公司发布了一款最新绿茶产品，它有以下特点：天然绿茶味饮料，无糖无香料无添加剂，适合夏天解暑解油腻。结合上述信息以及给你的图片，请帮我生成竖版海报，写上简约优雅的营销文案，与产品特质相呼应。
可以看到文心大模型4.0是可以直接生成图片的，我们再来试试生成视频，告诉它：“我们公司发布了一款最新绿茶产品，它有以下特点：天然绿茶味饮料，无糖无香料无添加剂，适合夏天解暑解油腻。结合上述信息以及给你的图片，请帮我生成一个数字人的口播视频，我想投放信息流广告。”
它确实能快速生成视频，且支持修改，但目前生成的视频不完美，文生视频能力中，对“绿茶”词汇的理解不如文生图能力理解透彻。
03
李彦宏提到的文心大模型4.0第三个提升点是逻辑能力，这是AI大模型的一个重要能力。毕竟所谓人工智能，逻辑和智力需要达到一定程度，才能被称为人工“智能”。
这里采用经典的“鸡兔同笼”问题来测试文心大模型4.0：鸡兔同笼，头共10，足共28，鸡兔各几只？
可以看到文心大模型4.0的逻辑能力还是不错的，拿来给家里的娃辅导作业挺合适的。
再来试一个本地的小学一年级智力测验：1+1在什么情况下等于3？
这么看，文心大模型可能看过赵本山的小品。
04
再来看看李彦宏提到的文心大模型4.0第四个提升点——上下文记忆能力，其实就是指用户跟文心大模型聊天时，它能不能记住很长的对话。如果大模型记忆能力不过关，说不了几句就忘了之前跟你的对话，那么之后就是对牛弹琴，“智能”更无从谈起。
这里我们采用官方提到的案例，写一本武侠小说来试试文心大模型4.0的上下文记忆能力。
首先，写一个武侠小说的大纲：请帮我写一篇武侠小说，主人公是个女侠，情节要跌宕起伏一些。
文心大模型4.0的回复：
增加人物：现在人物关系太简单了，再增加4个角色。
文心大模型4.0的回复：
添加剧情增加戏剧冲突：还要给故事增加主线的戏剧冲突，让故事更有可看性。
文心大模型4.0的回复：
好了，已经写了十几章小说故事大纲了，我们来问问文心大模型最开始的设定问题：女主角穿什么衣服？
在第一轮对话中，文心大模型写下的女主角外貌设定。现在经过多轮对话、几千字的小说撰写之后，它还是能记得之前写过的内容，从这一次的测试来看，文心大模型的记忆能力是过关的。
以上仅从体验角度对文心大模型4.0的能力做评测，不能完全代表大模型的实力。综合体验来看，文心大模型4.0语言理解能力、逻辑能力和记忆能力和之前的版本相比，确实有所提升，能满足用户日常生活中部分场景的使用需求，但生成能力尤其文生视频的能力，还有待进一步打磨。
参考材料：
《AI评测：GPT4有80分，文心一言只得了20多分 国产大模型难在哪儿？》
《清华大学发布《大语言模型综合性能评估报告》 ：GPT-4 第一，文心一言更懂中文》
（如需交流欢迎加微信：aiyukuailetongzai ，烦请备注公司+职务）
RECOMMEND
推荐阅读